Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
超越领域路由监督：多教师在线蒸馏的跨教师守护
🧭 多教师在线蒸馏梯度冲突缓解
Nanjing University · JD.com
提出 ROADMOPD，引入非路由教师作为跨域批评者，通过 token 级信用分配与梯度投影缓解多教师在线蒸馏的梯度冲突
📌 工作参考价值（4 点）
- 在多领域/多任务 LLM 在线蒸馏或 RLHF 中，不要只靠数据路由区分教师；可在同一批轨迹上额外计算非路由教师的梯度/损失作为冲突检测器，用教师一致性加权 token 级损失，低成本缓解共享参数下的梯度冲突。
- 梯度投影是可复用的训练工程技巧：当辅助梯度与主梯度方向冲突时，对主更新做投影去除冲突分量；但落地时应自适应控制投影强度，避免过度约束损害目标域信号，可参考其投影强度的门控/衰减机制。
- 若业务中需同时蒸馏多个领域专家（如电商搜索、推荐文案、客服），可借鉴“跨教师守护”思路：把非目标域教师作为 critic，不直接更新学生，只参与冲突感知的梯度修正，降低劣势领域退化风险。
- 对于 token 级信用分配：利用教师间一致性而非单教师概率来调整 token loss 权重，能减少噪声标签/风格差异带来的干扰，适合生成式推荐中文本质量与领域风格冲突的场景。